과제 수행 내용 요약

저번 과제까지 알고리즘 패턴과 문제 정보를 tools.py 안의 mock dict 형태로 들고 있었습니다. 이번 주에는 그 지식을 마크다운 문서 20개(알고리즘 패턴 12 + 알고리즘 문제 8)로 만들고, 키워드 매칭이 아니라 의미 기반 검색으로 답하는 RAG 파이프라인으로 교체했습니다. 흐름은 문서 로드 → 청킹 → 임베딩 → FAISS → retriever → 2-step 그래프(retrieve → generate)로, 단계별로 파일 하나씩 책임을 나눴습니다.

코퍼스(검색 대상이 되는 자료더미)는 새로 지어내지 않고 2주차에서 이미 검증된 패턴/문제 내용을 마크다운으로 확장했습니다. 덕분에 알고리즘 설명이 틀릴 위험이 적었고, 코드 9개는 직접 실행해 정답과 대조했습니다. 답변은 검색된 문서만 근거로 gpt-4o-mini가 생성하되, 근거 문서(sources)는 LLM이 지어내는 대신 실제 검색 결과에서 직접 뽑아 붙이도록 해서 '근거 없는 답"'을 구조적으로 막았습니다.

청킹 전략 비교

recursive(700자 길이 분할)와 markdown(헤더 기준 분할) 두 전략을 같은 쿼리로 비교했습니다.

1. recursive는 길이로 자르다 보니 코드 블록이 본문과 섞이고, 모든 문서가 공유하는 ## 흔한 실수 같은 섹션이 어휘 유사도 때문에 엉뚱한 문서에서 상위로 끌려오는 노이즈가 컸습니다.
2. 반면 markdown은 개념·접근·실수를 각각 온전한 청크로 유지해, "개념이나 문제를 설명하라"는 이 도메인의 질문에서 훨씬 집중적인 context를 줬습니다. 같은 임베딩·같은 질문이어도 자르는 기준 하나가 검색 품질을 크게 좌우한다는 걸 직접 확인했고, 그래서 기본 전략으로 markdown을 택했습니다.

결과

최종 질문 6개(입국심사의 이분탐색, 보석쇼핑의 while 축소, 디스크컨트롤러 자료구조, 섬연결의 union-find, DFS와 최단거리, 등굣길 DP 상태)를 돌려 전부 검색 문서에 근거해 정확히 답했고, sources와 confidence를 함께 출력했습니다.